Pada masa penjajahan Belanda di Indonesia, penyiaran agama Islam pada umumnya mengalami halangan dan kesulitan. Demikian halnya di kampung Ngabar yang keadaannya masih sangat mundur, baik di bidang ekonomi, pendidikan mahupun sosial budaya, terutama di bidang pengamalan agama Islam. Kebiasaan minum arak, candu, dan berjudi bermaharajalela di tengah-tengah masyarakat. Pengajaran agama Islam ketika itu mengalami cabaran keras daripada masyarakat Ngabar yang terbiasa dengan perbuatan maksiat seperti judi dan minuman keras. KH. Mohammad Thoyyib yang merupakan salah satu penduduk kampung Ngabar berusaha mencari cara mengubah perilaku seperti itu. Untuk mengelakkan pertembungan sosial, Kyai Thoyyib memilih lewat jalur pendidikan.

Untuk mewujudkan cita-citanya, dimasukkanlah putra-putranya ke pondok Pesantren Salafiyah yang berada di Ponorogo, seperti Pesantren Joresan dan Pesantren Tegalsari. Kemudian untuk penyempurnaan pembinaan kader-kader ini dimasukkannya putra-putranya ke Pondok Modern Darussalam Gontor. Diajak pula kawan seperjuangannya untuk turut serta mengkaderkan puteranya ke pesantren-pesantren tersebut.

Sebagai tunas, ditubuhkan institusi pendidikan Islam pertama berupa Madrasah Diniyyah Bustanul Ulum Al-Islamiyah (BUI) pada tahun 1946. Awalnya, madrasah ini masuk petang lalu berubah pagi. Nama pun diganti menjadi Madrasah Ibtidaiyah Mambaul Huda Al-Islamiyah pada tahun 1958. Untuk menampung lulusan sekolah ini, pada tahun 1958 dibuka Madrasah Tingkat Lanjutan Tsanawiyah lil Mu'allimin. Kemudian berganti menjadi Manahiju Tarbiyatil Mu'allimin / Mu'allimat Al-Islamiyah pada tahun 1972 . Pada tahun 1980 berubah lagi menjadi Tarbiyatul Mu'allimin dan Tarbiyatul Mu'allimat al-Islamiyah.[1][2]

Sebelum tahun 1961, seluruh pelajar yang nyantri berasal dari kawasan sekitar Ngabar, baru pada tahun 1961 datanglah sembilan orang santri yang berasalkan dari kawasan di luar Ponorogo yang dengan sendirinya memerlukan tempat tinggal. Kedatangan mereka membuka lembaran baru dengan didirikanya secara rasmi Pondok Pesantren Wali Songo Ngabar 4 April 1961.[3]

Pemilihan Wali Songo sebagai nama pondok ini bukan tanpa alasan. Para wali dianggap berjasa besar dalam penyebaran agama Islam khusus di pulau Jawa. Perjuangan para wali ini sangat berkesan di hati pengasas Pondok Ngabar hingga memberi nama Wali Songo. Nama itu juga didorong dua perkara. Pertama, keinginan mengingati jasa-jasa para wali dalam bidang dakwah Islam di Indonesia. Kedua, keinginan mewarisi sekaligus meneruskan semangat dan usaha para wali dalam menyebarkan ajaran agama Islam. Selain itu, santri pertama yang datang ke pesantren ini ada sembilan orang dari pelbagai daerah.[2][3]